# 高性能一部爬虫
# 目的：在爬虫中使用异步实现高性能的数据爬取操作。
# 单线程案例
import requests

# 01. 指定 url
urls = [
    'http://www.sougou.com',
    'https://cn.bing.com/',
    'https://www.baidu.com/'
]

# 02. 发起请求，使用 get 方法发起 get 请求，该方法回返回一个响应对象。参数 url 表示请求相应的 url。
headers = {
    "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36"
}


# 03. 获取响应数据：通过调用响应对象的 text 属性，返回响应对象中存储的字符串形式的响应数据（页面源码数据）
def get_content(url):
    print('正在爬取：', url)
    resp = requests.get(url, headers=headers)
    resp.encoding = 'utf-8'
    resp.close()
    if resp.status_code == 200:
        return resp.content


# 04. 解析响应数据内容
def parse_content(content):
    print('响应数据长度：', len(content))


if __name__ == '__main__':
    for url in urls:
        content_msg = get_content(url)
        length_msg = parse_content(content_msg)
